ReflectRL：从专家失败轨迹中学习反射推理以提升策略训练
🧭 强化学习 · 反射推理训练 ★ 深度解读
National University of Singapore · Ludwig Maximilian University of Munich · Technical University of Munich · Nanyang Technological University · Peking University
利用专家模型失败轨迹（黄金负样本）进行反思式推理，并通过策略过渡将能力迁移至直接推理
📌 工作参考价值（4 点）
- 利用高质量负样本作为反思提示：在搜索推荐场景，可将高置信度负反馈（如用户未点击的精选商品）作为“反思上下文”引入策略训练，引导模型显式分析失败原因并纠正，提升困难样本的利用效率。
- 反射到直接的训练过渡：采用余弦衰减等平滑调度，将反思式提示逐步替换为直接提示，使模型内化纠错能力，最终无需额外上下文即可产出高质量决策，适用于RLVR和蒸馏范式。
- 轻量级即插即用：无需新增模型、参数或梯度，仅通过预先生成的负样本轨迹和模板切换实现，工程实现成本低，可直接嵌入现有 on-policy 训练管线。
- 缓解熵坍缩、缩短推理长度：反射训练能维持策略探索度，避免过早收敛，同时在推理时生成更简洁的决策链，有助于降低在线服务延迟。
TurnSight：轮次级后见自蒸馏实现工具推理细粒度信用分配
🧭 Agent 后见自蒸馏 · 轮次信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Baidu Inc.
利用多前瞻视野的执行条件后见信号调制 RL 优势，实现多轮工具推理的精准轮次信用分配
📌 工作参考价值（4 点）
- 在多轮 Agent 决策（如搜索推荐系统中的多步查询、工具调用）中，可直接将环境执行结果作为自然的后见监督，无需依赖外部参考轨迹或人工标注，实现状态对齐的细粒度信用分配。
- 通过多前瞻视野（例如 d=1,2,3）构建互补的后见教师，利用方向一致性投票选择最可靠的监督信号，既能捕捉即时执行质量，又能反映延迟影响，避免单一视野的偏差或噪声。
- 组内规范化（prompt-group normalization）将有界后见权重与 RL 基础优势对齐，仅调制幅度而不改变优化方向，可与 GRPO 等策略梯度算法无缝集成，无额外模仿损失。
- 工程实现上，所有教师和参考分支可冻结，仅需在训练时计算一次后见信号，部署时仅用到学生策略，开销低且易于扩展。
OPID：面向智能体强化学习的在策略技能蒸馏
🧭 Agent 强化学习 · 技能蒸馏 ★ 深度解读
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
从在策略轨迹中提取分层后见技能并蒸馏回政策，为多步智能体提供稠密信号，无需外部技能库
📌 工作参考价值（4 点）
- 在构建多步交互的购物助手或搜索Agent时，可直接利用完整对话轨迹自动提取工作流与关键决策技能（如定位商品、处理售后），用于后续训练，无需额外人工标注或外部技能库。
- 关键优先路由（critical-first routing）可以为长对话推荐系统提供细粒度强化：当用户处于尺寸选择、支付等关键步骤时使用步级技能，其他状态使用全局工作流技能，避免简单拼接带来的相互干扰。
- 训练过程中技能蒸馏仅依赖历史轨迹和旧策略的重打分，推理时不引入任何额外模块（检索、分析器），适合线上低延迟部署。
- 该方法可与现有RL训练流程（如GRPO）直接结合，增强样本效率，特别适合小模型或数据稀缺的推荐/Agent场景：仅用60%的交互数据就能达到全量数据的结果水平。